Het Vrieselhof werd een eerste keer vermeld in de dertiende eeuw toen Jan van Vriesele, een edelman uit Kontich, rond 1300, 24 bunders grond kocht in Oelegem die hij kort daarop als bruidsschat schonk aan zijn dochter.
In 1457 was er sprake van het "t hof van Vriesele", met als eigenaar Matheeus van Steenbergen, die van Filips de Goede, hertog van Bourgondië, toestemming had gekregen om aan zijn hof een laathof op te richten. Een van de belangrijkste eigenaars was ongetwijfeld de in streek erg bekende Constantijn van Halmale, burgemeester en schepen van Antwerpen en officier in het leger van Keizer Karel V. De nakomelingen van Constanijn bleven het kasteel beheren tot in de zeventiende eeuw. Toen viel het Vrieshof echter ten prooi aan tal van plunderingen en verwoestingen.
In 1910 werd graaf Louis de Brouckhoven de Berkeyck eigenaar van het domein. Hij liet het oude kasteel herbouwen in neo-Vlaamse-renaissansestijl maar na het uitbreken van de Eerste Wereldoorlog lieten de Belgische troepen, op 7 oktober 1914, het kasteel om strategische redenen afbranden. Tussen 1917 en 1919 werd het huidige kasteel herbouwd in dezelfde stijl als het pas recent gebouwde, verwoeste kasteel. In 1974 werd het kasteel en het bijhorende domein door de kleinkinderen van Louis de Brouckhoven de Berkeyck verkocht aan de provincie Antwerpen en kreeg het provinciaal textielmuseum er onderdak. Sinds kort vinden de zittingen van de gemeenteraad hier plaats en wordt de 'burgerlijke trouw' van de inwoners van Ranst hier voltrokken.